Анализ пользовательского поведения в мобильном приложении

Table of Contents

Анализ для стартапа, который продаёт продукты питания. Нужно разобраться, как ведут себя пользователи нашего мобильного приложения.

Цель исследования - Узнать, как пользователи доходят до покупки. Сколько пользователей доходит до покупки, а сколько — «застревает» на предыдущих шагах и на каких именно. Исследовать результаты A/A/B-эксперимента по изменению шрифта во всем приложении, выяснить какой шрифт лучше.

Ход исследования:

  1. Обзор данных
  2. Предобработка данных
  3. Анализ воронки событий
  4. Анализ результатов экспиремента

Обзор данных

Шаг 1. Откройте файл с данными и изучите общую информацию

В таблице 'df' 4 столбца, 244125 строк. В каждой строке информация об одном событии пользователя. Типы данных int64(3), object(1).

Выводы после обзора данных:

Предварительно можно утверждать, что данных достаточно для анализа.

План предобработки данных:

Предобработка данных

Подготовка данных

В таблице нет пропусков, зато есть 413 дубликатов.

Проверка данных

На гистограмме видно, что у отдельных пользователей есть больше 2000 событий. Из за таких пользователе не видно основное распределение событий. Простроим дополнительный график с ограничением по количеству событий.

У большей части пользователей число событий не превышает 40.

В логи новых дней по некоторым пользователям могут «доезжать» события из прошлого — это может «перекашивать данные». Мы распологаем полными данными только с 2019-08-01, данные до этой даты придется отбросить.

Количество пользователей в обоих группах примерно одинаковое, значит группы сбалансированны.

Пользователи в группах не пересекаются, значит их распределили верно.

Вывод после предобработки данных

Привели название столбцов в таблице к удобному нам виду. Проверили таблицы на пропуски, дубликаты и аномалии. Пропусков, дубликатов и аномалий не обнаружено. Однако данные по событиям есть не за весь период наблюдений, из-за того что в логи новых дней по некоторым пользователям могут «доезжать» события из прошлого — это может «перекашивать данные». Мы распологаем полными данными только с 2019-08-01, данные до этой даты мы отбросили.

Данные готовы к анализу.

Анализ воронки событий

Изучим воронку продаж. Узнаем, как пользователи доходят до покупки, сколько пользователей доходит до покупки, а сколько — «застревает» на предыдущих шагах и на каких именно.

Самое частое событие это MainScreenAppear, оно встречается 117 тысяч раз. Самое редкое Tutorial, всего 1 тысяча раз.

Почти все пользователи совершали событие MainScreenAppear, но есть и те кто обошел этот этап.

Событие Tutorial совершали всего 11% пользователей. Скорее всего событие Tutorial не является обязательным для совершения покупки.

В таком случае наша воронка представляет собой последовательность событий по убыванию доли пользователей:

MainScreenAppear → OffersScreenAppear → CartScreenAppear → PaymentScreenSuccessful

Больше всего пользователей теряется при переходе на событие OffersScreenAppear, до него доходят только 61% пользователей. Меньше всего при переходе на событие PaymentScreenSuccessful около 4% пользователей.

На диаграмме хорошо видно потери пользователей на каждом этапе воронки.

Вывод после анализа воронки событий

Мы изучили воронку продаж пользователей мобильного приложения стартапа, который продаёт продукты питания.

Наша воронка представляет собой последовательность событий:

MainScreenAppear → OffersScreenAppear → CartScreenAppear → PaymentScreenSuccessful

Событие Tutorial не является обязательным, что бы стать покупателем, поэтому оно не входит в воронку продаж.

Выяснили, что до покупки (событие PaymentScreenSuccessful) доходит 47% пользователей, остальные пользователи «застревают» на предыдущих шагах.

Узнали, что большая часть пользователей теряется на MainScreenAppear - 39%, это значит что они поподают на главный экран, но не переходят к товарам (OffersScreenAppear), возможно им что-то мешает это сделать, например технические проблемы.

Еще часть на OffersScreenAppear - 20%, это значит, что они увидели наше предложение о покупке, но либо не добавили товар в корзину, либо добавили, но не перешли в нее (событие CartScreenAppear), возможной причиной здесь также могут быть технические проблемы, проблемы с качеством аудитории из рекламных каналов, а также с качеством самого предложения.

На переходе к событию PaymentScreenSuccessful теряется всего 4% пользователей, это значит что почти все кто дошел до корзины в итоге совершили покупку, это хороший показатель.

Анализ результатов эксперимента

Исследуем результаты A/A/B-эксперимента о изменении шрифта во всем приложении. Пользователей разбили на 3 группы: 2 контрольные со старыми шрифтами (246 и 247) и одну экспериментальную (248) — с новыми. Выясним, какой шрифт лучше.

Для этого сравним доли пользователей, совершивших одно и тоже событие, в разных группах с помощью Z-критерия двух пропорций.

Критический уровень статистической значимости применим ɑ = 0,05.

При этом мы собираемся проверить 20 статистических гипотез:

Чтобы снизить вероятность ложнопозитивного результата при множественном тестировании гипотез применим поправку Бонферрони, т.е. разделим ɑ на количество гипотез.

ɑ = 0.05 / 20 = 0.0025

В каждой группе около 2500 пользователей, выборки сбалансированны.

A/A эксперимент

Для начала удостоверимся в точности проведенного тестирования. У нас есть 2 контрольные группы для А/А-эксперимента, чтобы проверить корректность всех механизмов и расчётов. Проверим, находят ли статистические критерии разницу между выборками 246 и 247.

Сформулируем гипотезы.

Нулевая: различий в долях пользователей, совершивших одно и тоже событие между группами 246 и 247 нет.

Альтернативная: различия в долях пользователей, совершивших одно и тоже событие между группами 246 и 247 есть.

Выводы после А/А эксперимента

Статистически достоверных различий в группах нет. Можно предположить что разбиение на группы работает корректно.

A/В эксперимент

Сравнение группы 246 и 248

Проверим, находят ли статистические критерии разницу между выборками 246 (контрольной) и 248 (экспериментальной).

Сформулируем гипотезы.

Нулевая: различий в долях пользователей, совершивших одно и тоже событие между группами 246 и 248 нет.

Альтернативная: различия в долях пользователей, совершивших одно и тоже событие между группами 246 и 248 есть.

Статистически значимой разницы между контрольной группой 246 и экспериментальной 248 нет.

Сравнение группы 247 и 248

Проверим, находят ли статистические критерии разницу между выборками 247 (контрольной) и 248 (экспериментальной).

Сформулируем гипотезы.

Нулевая: различий в долях пользователей, совершивших одно и тоже событие между группами 247 и 248 нет.

Альтернативная: различия в долях пользователей, совершивших одно и тоже событие между группами 247 и 248 есть.

Статистически значимой разницы между контрольной группой 247 и экспериментальной 248 нет.

Сравнение объединённой контрольной группы и группы 248

Проверим, находят ли статистические критерии разницу между объедененными конрольными выборками 246, 247 и и эксперементальной группой 248.

Сформулируем гипотезы.

Нулевая: различий в долях пользователей, совершивших одно и тоже событие между объединённой контрольной группой и эксперементальной группой 248 нет.

Альтернативная: различия в долях пользователей, совершивших одно и тоже событие между объединённой контрольной группой и эксперементальной группой 248 есть.

Статистически значимой разницы между объедененной контрольной группой 246,247 и эксперементальной 248 нет.

Выводы после A/B-теста

Мы исследовали результаты A/A/B-эксперимента о изменении шрифта во всем приложении.

Пользователи были разбиты на 3 группы, в каждой около 2 500 пользователей: 2 контрольные со старыми шрифтами (246 и 247) и одну экспериментальную (248) — с новыми.

Удостоверились в точности проведенного тестирования с помощью А/А эксперемента, сравнив группы 246 и 247 между собой по каждому событию.

Не обнаружили статистически значимой разницы между этими двумя группами для каждого из событий. Значит разбиение на группы работает корректно.

Сравнили контрольные группы с эксперементальной. С каждой из контрольных групп по отдельности и с объедененной контрольной группой по каждому событию.

Не обнаружили статистически значимой разницы между контрольными группами и эксперементальной для каждого из событий.

Из чего можно сделать вывод, что шрифт в приложении не влияет на поведение пользователей.